Python bilan Prognozli Tahlil: Vaqt Seriyalarini Bashoratlashga Chuqur Sho'ng'ish

Bizning ma'lumotlarga asoslangan dunyoyimizda kelajakni bashorat qilish qobiliyati endi mistik san'at emas, balki muhim biznes funksiyasidir. Global chakana savdo tarmog'idagi savdo hajmini bashorat qilishdan tortib, aqlli shahar uchun energiya sarfini bashorat qilishgacha, kelajak tendentsiyalarini oldindan bilish asosiy raqobatbardosh ustunlikdir. Ushbu bashorat qilish qudratining markazida vaqt seriyalarini bashoratlash yotadi va zamonaviy ma'lumotlar olimlari uchun eng yaxshi vosita bu Python.

Ushbu keng qamrovli qo'llanma sizni Python yordamida vaqt seriyalarini bashorat qilish dunyosiga olib boradi. Biz asoslardan boshlaymiz, klassik statistik modellarni o'rganamiz, zamonaviy mashinaviy o'qitish va chuqur o'rganish texnikalariga sho'ng'iymiz va sizni mustahkam bashorat qilish modellarini qurish, baholash va joylashtirish uchun bilim bilan ta'minlaymiz. Siz ma'lumotlar tahlilchisi, mashinaviy o'qitish injeneri yoki biznes rahbari bo'lasizmi, ushbu maqola sizga tarixiy ma'lumotlarni amaliy kelajakdagi tushunchalarga aylantirish uchun amaliy yo'l xaritasini taqdim etadi.

Vaqt Seriyali Ma'lumotlarning Asoslarini Tushunish

Modellarni qurishdan oldin, avval ma'lumotlarimizning o'ziga xos xususiyatini tushunishimiz kerak. Vaqt seriyasi - bu ketma-ket, teng oraliqdagi vaqt nuqtalarida to'plangan ma'lumotlar nuqtalarining ketma-ketligidir. Aynan shu vaqtinchalik bog'liqlik uni ishlash uchun ham qiyin, ham qiziqarli qiladi.

Vaqt Seriyali Ma'lumotlarni Nima Maxsus Qiladi?

Vaqt seriyali ma'lumotlarni odatda to'rtta asosiy komponentga ajratish mumkin:

• Trend: Ma'lumotlarning uzoq muddatli yo'nalishi. U odatda vaqt o'tishi bilan o'sib boradimi, kamayib boradimi yoki doimiy bo'lib qoladimi? Misol uchun, smartfonlarning global qabul qilinishi o'n yildan ortiq vaqt davomida doimiy o'sish tendentsiyasini ko'rsatdi.
• Mavsumiylik: Qat'iy intervallarda sodir bo'ladigan bashorat qilinadigan, takrorlanuvchi naqshlar yoki tebranishlar. Har yili ta'til mavsumida chakana savdoning eng yuqori cho'qqisiga chiqishi yoki ish kunlarida veb-sayt trafigining oshishi haqida o'ylang.
• Sikliklik: Qat'iy davrga ega bo'lmagan, ko'pincha kengroq iqtisodiy yoki biznes tsikllari bilan bog'liq bo'lgan naqshlar. Ushbu tsikllar mavsumiy naqshlardan uzunroq va o'zgaruvchanroqdir. Bir necha yilni qamrab olgan yuksalish va tanazzulning biznes tsikli klassik misoldir.
• Nizomlilik (yoki shovqin): Trend, mavsumiylik va tsikllarni hisobga olgandan keyin qolgan ma'lumotlarning tasodifiy, oldindan aytib bo'lmaydigan komponenti. U tizimdagi o'ziga xos tasodifiylikni ifodalaydi.

Statsionarlikning Muhimligi

Klassik vaqt seriyali tahlilidagi eng muhim tushunchalardan biri statsionarlikdir. Agar uning statistik xususiyatlari - xususan, o'rtacha, dispersiya va avtokorrelyatsiya - vaqt o'tishi bilan doimiy bo'lsa, vaqt seriyasi statsionar hisoblanadi. Oddiy qilib aytganda, statsionar seriya - bu uning xatti-harakati vaqt o'tishi bilan o'zgarmaydigan seriya.

Nima uchun bu juda muhim? Ko'pgina an'anaviy bashorat qilish modellari, masalan, ARIMA, vaqt seriyasi statsionar degan taxminga asoslangan. Ular statistik ma'noda barqaror bo'lgan jarayonni modellashtirish uchun mo'ljallangan. Agar seriya nostatsionar bo'lsa (masalan, unda aniq trend bo'lsa), modelning aniq bashorat qilish qobiliyati jiddiy ravishda buziladi.

Yaxshiyamki, biz ko'pincha nostatsionar seriyani differentsiatsiya (oldingi kuzatuvni joriy kuzatuvdan ayirish) yoki logarifmik yoki kvadrat ildiz o'zgarishlarini qo'llash kabi usullar orqali statsionarga aylantirishimiz mumkin.

Bashoratlash uchun Python Muhitingizni Sozlash

Pythonning kuchi uning ochiq manbali kutubxonalarining keng ekotizimidan kelib chiqadi. Vaqt seriyalarini bashorat qilish uchun bir nechtasi juda muhimdir.

Sizga Kerak bo'ladigan Muhim Kutubxonalar

• pandas: Python-da ma'lumotlarni manipulyatsiya qilish va tahlil qilishning asosiy toshi. Uning kuchli DataFrame ob'ekti va ixtisoslashgan vaqt seriyali funksiyalari ajralmasdir.
• NumPy: Katta, ko'p o'lchovli massivlar va matritsalarni qo'llab-quvvatlaydigan ilmiy hisoblash uchun asosiy paket.
• Matplotlib & Seaborn: Ma'lumotlarni vizualizatsiya qilish uchun eng yaxshi kutubxonalar. Vaqt seriyangizning syujetlarini yaratish uning naqshlarini tushunishdagi birinchi qadamdir.
• statsmodels: Statistik modellashtirish uchun qudratli vosita. U ko'plab turli xil statistik modellarni, shu jumladan ARIMA va SARIMA kabi klassik vaqt seriyali modellarni baholash uchun sinflar va funktsiyalarni taqdim etadi.
• scikit-learn: Umumiy maqsadli mashinaviy o'qitish uchun eng mashhur kutubxona. Biz undan ma'lumotlarni oldindan qayta ishlash, xususiyatlarni ishlab chiqish va bashorat qilish muammolariga ML modellarni qo'llash uchun foydalanamiz.
• Prophet: Meta (sobiq Facebook) tomonidan ishlab chiqilgan ushbu kutubxona ayniqsa kuchli mavsumiy effektlarga ega bo'lgan biznesga tegishli vaqt seriyalari uchun keng miqyosda bashorat qilishni oson va qulay qilish uchun mo'ljallangan.
• TensorFlow & Keras / PyTorch: Bular LSTM kabi murakkab modellarni qurish uchun ishlatiladigan chuqur o'rganish ramkalari bo'lib, ular ketma-ket ma'lumotlardagi yuqori darajada murakkab, chiziqli bo'lmagan naqshlarni olishlari mumkin.

Ma'lumotlaringizni Yuklash va Tayyorlash

Ma'lumotlarni tayyorlash juda muhim birinchi qadamdir. Ko'pgina vaqt seriyali ma'lumotlar CSV yoki Excel fayllari kabi formatlarda keladi. Pandas yordamida biz ushbu ma'lumotlarni yuklashimiz va tahlil qilish uchun sozlashimiz mumkin. Eng muhim qadam - ma'lumotlaringizda to'g'ri DatetimeIndex mavjudligini ta'minlashdir.

            
import pandas as pd

# Ma'lumotlar to'plamini yuklang
# 'data.csv'da ikkita ustun bor deb faraz qilaylik: 'Date' va 'Sales'
df = pd.read_csv('data.csv')

# 'Date' ustunini sana vaqt ob'ektiga aylantiring
df['Date'] = pd.to_datetime(df['Date'])

# 'Date' ustunini indeks sifatida o'rnating
df.set_index('Date', inplace=True)

# Endi bizning DataFrame vaqt bo'yicha indekslangan, bu bashorat qilish uchun idealdir
print(df.head())

            

              
                Copy
              
            
          

Amaliy Qo'llanma: Ma'lumotlardan Bashoratgacha

Keling, global savdo ma'lumotlar to'plamidan foydalangan holda, vaqt seriyali bashoratlash loyihasi uchun odatiy ish jarayonini ko'rib chiqaylik.

1-qadam: Ma'lumotlarni o'rganish tahlili (EDA)

Ma'lumotlaringizga qaramasdan modellashtirishni hech qachon boshlamang. Vizualizatsiya asosiy hisoblanadi.

Vaqt Seriyasini Vizualizatsiya Qiling: Oddiy chiziqli syujet trendlarni, mavsumiylikni va har qanday g'ayrioddiy hodisalarni ochib berishi mumkin.

            
import matplotlib.pyplot as plt

df['Sales'].plot(figsize=(12, 6), title='Vaqt o'tishi bilan global savdo')
plt.show()

            

              
                Copy
              
            
          

Seriyani Parchalash: Komponentlarni aniqroq ko'rish uchun biz seriyani o'z trendi, mavsumiy va qoldiq qismlariga ajratish uchun `statsmodels` dan foydalanishimiz mumkin.

            
from statsmodels.tsa.seasonal import seasonal_decompose

result = seasonal_decompose(df['Sales'], model='additive', period=12) # Yillik mavsumiylik bilan oylik ma'lumotlar deb faraz qilaylik
result.plot()
plt.show()

            

              
                Copy
              
            
          

Statsionarlikni Tekshiring: Statsionarlik uchun umumiy statistik test - bu Kengaytirilgan Dickey-Fuller (ADF) testi. Nol gipoteza - bu seriya nostatsionar. Agar testdan olingan p-qiymati ahamiyatlilik darajasidan (masalan, 0,05) kamroq bo'lsa, biz nol gipotezani rad etishimiz va seriya statsionar degan xulosaga kelishimiz mumkin.

2-qadam: Klassik Bashoratlash Modellari

Klassik statistik modellar o'nlab yillar davomida vaqt seriyalarini bashorat qilishning asosi bo'lib kelgan va hali ham nihoyatda kuchli va talqin qilinadigan.

ARIMA: Vaqt Seriyalarini Bashoratlashning Ishchi Kuchidir

ARIMA Autoregressive Integrated Moving Average degan ma'noni anglatadi. Bu uchta komponentni birlashtirgan ko'p qirrali model:

• AR (Autoregressive): Kuzatuv va bir qator kechiktirilgan kuzatuvlar (p) o'rtasidagi bog'liq munosabatdan foydalanadigan regressiya modeli.
• I (Integrated): Vaqt seriyasini statsionar qilish uchun xom kuzatuvlarni (d) differentsiatsiya qilishdan foydalanish.
• MA (Moving Average): Kuzatuv va kechiktirilgan kuzatuvlarga qo'llaniladigan harakatlanuvchi o'rtacha modeldan qoldiq xato o'rtasidagi bog'liqlikdan foydalanadigan model (q).

Model ARIMA(p, d, q) sifatida belgilanadi. Ushbu parametrlar uchun optimal qiymatlarni topish modellashtirish jarayonining asosiy qismidir.

            
from statsmodels.tsa.arima.model import ARIMA

# Ma'lumotlar o'quv va test to'plamlariga bo'lingan deb faraz qilaylik
# model = ARIMA(train_data['Sales'], order=(5, 1, 0))
# model_fit = model.fit()

# Bashoratni oling
# forecast = model_fit.forecast(steps=len(test_data))

            

              
                Copy
              
            
          

SARIMA: Mavsumiylikni Nafislik bilan Boshqarish

SARIMA (Mavsumiy ARIMA) - bu mavsumiy komponentga ega bo'lgan vaqt seriyali ma'lumotlarini aniq qo'llab-quvvatlaydigan ARIMA ning kengaytmasi. U mavsumiy naqshlarni hisobga olish uchun parametrlar to'plamini (P, D, Q, m) qo'shadi.

            
from statsmodels.tsa.statespace.sarimax import SARIMAX

# model = SARIMAX(train_data['Sales'], order=(1, 1, 1), seasonal_order=(1, 1, 1, 12))
# model_fit = model.fit()

            

              
                Copy
              
            
          

3-qadam: Mashinaviy O'qitish Yondashuvlari

Biz, shuningdek, vaqt seriyali muammoni nazorat qilinadigan o'rganish muammosi sifatida tuzishimiz mumkin. Bu bizga Gradient Boosting kabi kuchli mashinaviy o'qitish algoritmlaridan foydalanishga imkon beradi.

Vaqt Seriyalari uchun Xususiyatlarni Ishlab Chiqish

ML modellardan foydalanish uchun biz vaqt bilan indekslangan ma'lumotlarimizdan xususiyatlar yaratishimiz kerak. Bunga quyidagilar kirishi mumkin:

• Vaqtga asoslangan xususiyatlar: Yil, oy, hafta kuni, chorak, yil haftasi.
• Kechiktirilgan xususiyatlar: Oldingi vaqt qadamlarida seriyaning qiymati (masalan, o'tgan oydagi savdo).
• Harakatlanuvchi oyna xususiyatlari: Muayyan vaqt oynasi davomida harakatlanuvchi o'rtacha yoki harakatlanuvchi standart og'ish kabi statistika.

XGBoost yoki LightGBM kabi Modellardan Foydalanish

Bizda xususiyatlar to'plami mavjud bo'lgandan so'ng, biz maqsadli o'zgaruvchini bashorat qilish uchun XGBoost kabi regressiya modelini o'rgatishimiz mumkin. Maqsad - biz bashorat qilmoqchi bo'lgan qiymat (masalan, `Sales`), xususiyatlar esa muhandislik vaqtga asoslangan va kechikish xususiyatlaridir.

4-qadam: Murakkab Naqshlar uchun Chuqur O'rganish

Chiziqli bo'lmagan naqshlarga ega bo'lgan juda murakkab vaqt seriyalari uchun chuqur o'rganish modellari ustun ishlashni taklif qilishi mumkin.

LSTM Tarmoqlari: O'tmishni Eslab Qolish

Uzoq Qisqa Muddatli Xotira (LSTM) tarmoqlari - uzoq muddatli bog'liqliklarni o'rganish uchun maxsus mo'ljallangan Recurrent Neural Network (RNN) turi. Ular vaqt seriyalari kabi ketma-ket ma'lumotlar uchun juda mos keladi, chunki ular ichki 'xotira'ga ega bo'lib, kelajakdagi bashoratlar haqida xabar berish uchun oldingi vaqt bosqichlaridan ma'lumotni saqlab qolishi mumkin.

LSTM modelini qurish quyidagilarni o'z ichiga oladi:

1. Ma'lumotlarni masshtablash (neyron tarmoqlari masshtablangan ma'lumotlar bilan yaxshiroq ishlaydi, masalan, 0 va 1 orasida).
2. Ma'lumotlarni belgilangan uzunlikdagi ketma-ketliklarga qayta tuzish (masalan, keyingi kunni bashorat qilish uchun oxirgi 60 kunlik ma'lumotlardan foydalaning).
3. Keras yoki PyTorch kabi kutubxonadan foydalanib LSTM arxitekturasini qurish.
4. Modelni o'quv ma'lumotlarida o'rgatish va undan kelajakdagi qiymatlarni bashorat qilish uchun foydalanish.

Bashoratingizni Baholash: Bashoratlaringiz Qanchalik Yaxshi?

Agar model qanchalik yaxshi ishlashini bilmasangiz, u foydasiz. Baholash - muhim qadam.

Asosiy Ishlash Ko'rsatkichlari

Bashoratlaringizning aniqligini baholash uchun umumiy ko'rsatkichlar quyidagilarni o'z ichiga oladi:

• O'rtacha Absolut Xato (MAE): Bashorat qilingan va haqiqiy qiymatlar orasidagi absolut farqlarning o'rtachasi. Uni tushunish va talqin qilish oson.
• O'rtacha Kvadrat Xato (MSE): Kvadrat farqlarning o'rtachasi. U MAE dan ko'ra kattaroq xatolarni qattiqroq jazolaydi.
• Ildiz O'rtacha Kvadrat Xato (RMSE): MSE ning kvadrat ildizi. U asl ma'lumotlar bilan bir xil birliklarda bo'lib, uni MSE dan ko'ra talqin qilish osonroq qiladi.
• O'rtacha Absolut Foiz Xato (MAPE): Absolut foiz xatolarning o'rtachasi. U aniqlikni foiz sifatida ifodalaydi, bu biznes hisobotlari uchun foydali bo'lishi mumkin.

Ushlab Turish Test To'plamining Muhimligi

Standart mashinaviy o'qitish muammolaridan farqli o'laroq, siz o'qitish va sinov uchun vaqt seriyali ma'lumotlarni tasodifiy ravishda ajratishingiz mumkin emas. Bunday qilish ma'lumotlarning sizib chiqishiga olib keladi, bunda model unga kirish huquqi bo'lmagan kelajakdagi ma'lumotlardan o'rganadi. Ajratish har doim vaqtinchalik tartibga rioya qilishi kerak: o'tmishda o'rgating va eng so'nggi ma'lumotlarda sinovdan o'tkazing.

Ilg'or Mavzular va Zamonaviy Kutubxonalar

Prophet bilan Bashoratni Avtomatlashtirish

Prophet - Meta Core Data Science jamoasi tomonidan ishlab chiqilgan kutubxona. U yuqori darajada avtomatlashtirilgan va sozlanishi uchun mo'ljallangan bo'lib, uni biznesni bashorat qilish dasturlari uchun ajoyib tanlov qiladi. U kuchli mavsumiy ta'sirga ega bo'lgan va bir nechta mavsumli tarixiy ma'lumotlar bilan eng yaxshi ishlaydi.

Prophetning asosiy kuchli tomonlari uning quyidagi qobiliyatidir:

• Bir nechta mavsumiylikni (masalan, haftalik, yillik) avtomatik ravishda boshqaring.
• Bayramlar va maxsus tadbirlarning ta'sirini birlashtiring.
• Yo'qolgan ma'lumotlar va tashqi omillarni mustahkam tarzda boshqaring.

            
# from prophet import Prophet

# # Prophet ustunlarning 'ds' (sana belgisi) va 'y' (maqsad) deb nomlanishini talab qiladi
# df_prophet = df.reset_index().rename(columns={'Date': 'ds', 'Sales': 'y'})

# model = Prophet()
# model.fit(df_prophet)

# future = model.make_future_dataframe(periods=365)
# forecast = model.predict(future)

# model.plot(forecast)

            

              
                Copy
              
            
          

Ko'p o'zgaruvchan Vaqt Seriyalarini Bashoratlash

Hozirgacha biz bir o'zgaruvchan bashoratni (o'z o'tmishiga asoslangan holda bitta seriyani bashorat qilish) muhokama qildik. Ko'p o'zgaruvchan bashoratlash bitta maqsadni bashorat qilish uchun bir nechta vaqtga bog'liq o'zgaruvchilardan foydalanishni o'z ichiga oladi. Misol uchun, siz sotuvingizni bashorat qilish uchun marketing xarajatlari, iqtisodiy ko'rsatkichlar va raqobatchi narxlaridan (barchasi vaqt seriyalari sifatida) foydalanishingiz mumkin. VAR (Vektor Avtoregressiya) va VECM kabi modellar, shuningdek, murakkabroq chuqur o'rganish arxitekturalari ushbu stsenariylarni boshqarishi mumkin.

Xulosa: Python bilan Bashoratlashning Kelajagi

Vaqt seriyalarini bashorat qilish - bu boy va xilma-xil soha va Python har qanday bashoratlash muammosini hal qilish uchun to'liq ekotizimni ta'minlaydi. Biz trendlar va mavsumiylikning asosiy tushunchalaridan tortib, murakkab chuqur o'rganish modellarini joriy etishgacha bo'lgan yo'lni bosib o'tdik.

Asosiy xulosa shundaki, barcha muammolar uchun yagona 'eng yaxshi' model yo'q. Tanlov ma'lumotlaringizning xususiyatlariga, bashoratlash gorizontingizga va sizning biznesingizning aniq ehtiyojlariga bog'liq. Oddiy ARIMA modeli barqaror, bashorat qilinadigan ma'lumotlar uchun mukammal bo'lishi mumkin, ammo o'zgaruvchan moliyaviy bozorlarning nozik tomonlarini olish uchun murakkab LSTM tarmog'i talab qilinishi mumkin.

Ma'lumotlarni tayyorlash va EDA dan tortib, modellashtirish va baholashgacha bo'lgan muhokama qilingan vositalar va usullarni o'zlashtirish orqali siz Python kuchidan foydalanib, tarixiy ma'lumotlarni strategik aktivga aylantirishingiz, kelajak uchun yanada asosli qarorlar va faol strategiyalarni ta'minlashingiz mumkin.